3D车道检测是自动驾驶系统的组成部分。以前的CNN和基于变压器的方法通常首先从前视图图像中生成鸟类视图（BEV）特征映射，然后使用带有BEV功能映射的子网络作为输入来预测3D车道。这种方法需要在BEV和前视图之间进行明确的视图转换，这本身仍然是一个具有挑战性的问题。在本文中，我们提出了一种基于单阶段变压器的方法，该方法直接计算3D车道参数并可以规避困难的视图变换步骤。具体而言，我们通过使用曲线查询来将3D车道检测作为曲线传播问题。 3D车道查询由动态和有序的锚点集表示。通过这种方式，在变压器解码器迭代中具有曲线表示的查询可完善3D车道检测结果。此外，引入了曲线交叉意见模块，以计算曲线查询和图像特征之间的相似性。此外，提供了可以捕获曲线查询更多相对图像特征的上下文采样模块，以进一步提高3D车道检测性能。我们评估了合成数据集和现实数据集的3D车道检测方法，实验结果表明，与最先进的方法相比，我们的方法实现了有希望的性能。每个组件的有效性也通过消融研究验证。

为了在盲图超级分辨率（SR）上取得有希望的结果，一些尝试利用低分辨率（LR）图像来预测内核并改善SR性能。但是，由于不可用的现实世界模糊内核，这些监督的内核预测（SKP）方法是不切实际的。尽管提出了一些无监督的降解预测（UDP）方法来绕过此问题，但\ textIt {contercestency}之间的降解嵌入和SR功能之间仍然具有挑战性。通过探索降解嵌入与SR功能之间的相关性，我们观察到共同学习内容和降解感知功能是最佳的。基于此观察结果，提出了一个名为CDSR的内容和退化的SR网络。具体而言，CDSR包含三个新建立的模块：（1）将基于重量的编码器（LPE）应用于共同提取内容和降解功能； （2）采用基于域查询的基于注意力的模块（DQA）来适应不一致； （3）基于密码的空格压缩模块（CSC），可以抑制冗余信息。对几个基准测试的广泛实验表明，即使与最先进的SKP方法相比，提议的CDSR的表现都优于现有的UDP模型，并在PSNR和SSIM上实现竞争性能。

随着计算病理学的发展，通过整个幻灯片图像（WSIS）的Gleason评分的深度学习方法具有良好的前景。由于WSIS的大小非常大，因此图像标签通常仅包含幻灯片级标签或有限的像素级标签。当前的主流方法采用了多个实体学习来预测格里森等级。但是，某些方法仅考虑幻灯片级标签，忽略了包含丰富本地信息的有限像素级标签。此外，考虑到像素级标签的另外方法忽略了像素级标签的不准确性。为了解决这些问题，我们根据多个实例学习框架提出了一个混合监督变压器。该模型同时使用幻灯片级标签和实例级别标签，以在幻灯片级别实现更准确的Gleason分级。通过在混合监督培训过程中引入有效的随机掩盖策略，进一步降低了实例级标签的影响。我们在SICAPV2数据集上实现了最新性能，视觉分析显示了实例级别的准确预测结果。源代码可从https://github.com/bianhao123/mixed_supervision获得。

旨在为通用机器人铺平道路的边界研究，视觉和语言导航（VLN）一直是计算机视觉和自然语言处理社区的热门话题。 VLN任务要求代理在不熟悉的环境中按照自然语言说明导航到目标位置。最近，基于变压器的模型已在VLN任务上获得了重大改进。由于变压器体系结构中的注意力机制可以更好地整合视觉和语言的模式内和模式信息。但是，当前基于变压器的模型中存在两个问题。 1）模型独立处理每个视图，而无需考虑对象的完整性。 2）在视觉模态的自我注意操作期间，在空间上遥远的视图可以彼此交织而无需明确的限制。这种混合可能会引入额外的噪音而不是有用的信息。为了解决这些问题，我们建议1）基于插槽注意的模块，以合并来自同一对象的分割的信息。 2）局部注意力掩模机制限制视觉注意力跨度。所提出的模块可以轻松地插入任何VLN体系结构中，我们将复发的VLN-Bert用作基本模型。 R2R数据集的实验表明，我们的模型已达到最新结果。

最近，在一步的Panoptic细分方法上越来越关注，旨在有效地旨在在完全卷积的管道内共同分割实例和材料。但是，大多数现有的工作直接向骨干功能提供给各种分段头，忽略语义和实例分割的需求不同：前者需要语义级别的判别功能，而后者需要跨实例可区分的功能。为了缓解这一点，我们建议首先预测用于增强骨干特征的不同位置之间的语义级和实例级相关性，然后分别将改进的鉴别特征馈送到相应的分割头中。具体地，我们将给定位置与所有位置之间的相关性组织为连续序列，并将其预测为整体。考虑到这种序列可以非常复杂，我们采用离散的傅里叶变换（DFT），一种可以近似由幅度和短语参数化的任意序列的工具。对于不同的任务，我们以完全卷积的方式从骨干网上生成这些参数，该参数通过相应的任务隐含地优化。结果，这些准确和一致的相关性有助于产生符合复杂的Panoptic细分任务的要求的合理辨别特征。为了验证我们的方法的有效性，我们对几个具有挑战性的Panoptic细分数据集进行实验，并以45.1美元\％PQ和ADE20K为32.6美元\％PQ实现最先进的绩效。

细粒度的视觉分类（FGVC）旨在识别子类别的对象。由于级细的级别差异，这是一个非常具有挑战性的任务。现有的研究将大型卷积神经网络或视觉变压器应用为特征提取器，这是极其计算昂贵的。实际上，实际的细粒度识别的场景通常需要更轻薄的移动网络可以离线使用。然而，基本移动网络特征提取能力比大规模模型弱。本文基于轻质MobileNetv2，我们提出了一种具有递归马赛克发生器（RMG-PMSI）的逐步多级交互训练方法。首先，我们提出了一种递归马赛克发生器（RMG），其产生不同阶段的不同粒度的图像。然后，不同阶段的特征通过多级相互作用（MSI）模块，其增强和补充不同阶段的相应特征。最后，使用渐进式训练（P），可以充分利用不同阶段中的模型提取的特征并彼此融合。三个着名的细粒度基准测试的实验表明，RMG-PMSI可以显着提高性能，具有良好的稳健性和可转移性。

意图识别是促进多种代理系统中协作的重要步骤。现有工作主要侧重于单个代理设置中的意图识别，并使用描述模型，例如，使用描述性模型。贝叶斯网络，在识别过程中。在本文中，我们采用了一种规范的方法来模拟代理人的行为，其中他们的意图隐藏在实施计划。我们将地标引入行为模型，因此增强了识别多个代理的公共意图的信息特征。我们通过仅关注其计划中的动作序列来进一步改进模型，并提供用于识别和比较其意图的光模型。新模型在代理人互动中观察到的部分计划后，为分组代理商的共同意图提供了简单的方法。我们提供实验结果支持。

多实例学习（MIL）是一种强大的工具，可以解决基于整个滑动图像（WSI）的病理学诊断中的弱监督分类。然而，目前的MIL方法通常基于独立和相同的分布假设，从而忽略不同实例之间的相关性。为了解决这个问题，我们提出了一个被称为相关的MIL的新框架，并提供了融合证明。基于此框架，我们设计了一种基于变压器的MIL（TMARMIL），其探讨了形态和空间信息。所提出的传输可以有效地处理不平衡/平衡和二元/多重分类，具有良好的可视化和可解释性。我们对三种不同的计算病理问题进行了各种实验，与最先进的方法相比，实现了更好的性能和更快的会聚。在CAMELYON16数据集中的二进制肿瘤分类的测试AUC最高可达93.09％。在TCGA-NSCLC数据集和TCGA-RCC数据集中，癌症亚型分类的AUC分别可以高达96.03％和98.82％。实现可用于：https://github.com/szc19990412/transmil。

Different people speak with diverse personalized speaking styles. Although existing one-shot talking head methods have made significant progress in lip sync, natural facial expressions, and stable head motions, they still cannot generate diverse speaking styles in the final talking head videos. To tackle this problem, we propose a one-shot style-controllable talking face generation framework. In a nutshell, we aim to attain a speaking style from an arbitrary reference speaking video and then drive the one-shot portrait to speak with the reference speaking style and another piece of audio. Specifically, we first develop a style encoder to extract dynamic facial motion patterns of a style reference video and then encode them into a style code. Afterward, we introduce a style-controllable decoder to synthesize stylized facial animations from the speech content and style code. In order to integrate the reference speaking style into generated videos, we design a style-aware adaptive transformer, which enables the encoded style code to adjust the weights of the feed-forward layers accordingly. Thanks to the style-aware adaptation mechanism, the reference speaking style can be better embedded into synthesized videos during decoding. Extensive experiments demonstrate that our method is capable of generating talking head videos with diverse speaking styles from only one portrait image and an audio clip while achieving authentic visual effects. Project Page: https://github.com/FuxiVirtualHuman/styletalk.

Through a study of multi-gas mixture datasets, we show that in multi-component spectral analysis, the number of functional or non-functional principal components required to retain the essential information is the same as the number of independent constituents in the mixture set. Due to the mutual in-dependency among different gas molecules, near one-to-one projection from the principal component to the mixture constituent can be established, leading to a significant simplification of spectral quantification. Further, with the knowledge of the molar extinction coefficients of each constituent, a complete principal component set can be extracted from the coefficients directly, and few to none training samples are required for the learning model. Compared to other approaches, the proposed methods provide fast and accurate spectral quantification solutions with a small memory size needed.